ฟีลิปแต่งงานกับฌานที่ 2 เคานเตสแห่งบูร์กอญ บุตรสาวและทายาทของออทโทที่ 4 เคานต์แห่งบูร์กอญในปี ค.ศ. 1307[3] ทั้งคู่มีพระธิดาด้วยกันสามคน คือ

• ฌาน (ค.ศ. 1308 – ค.ศ. 1349) เคานเตสแห่งบูร์กอญตามสิทธิ์ของตนเอง สมรสกับอูเดส์ที่ 4 ดยุคแห่งบูร์กอญ การแต่งงานครั้งนี้ทำให้เคานตีและดัชชีบูร์กอญถูกรวมเข้าด้วยกัน
• มาร์เกอริต (ค.ศ. 1310 – 9 พฤษภาคม ค.ศ. 1382) สมรสกับหลุยส์ที่ 1 เคานต์แห่งแฟลนเดอส์
• อีซาแบล (ค.ศ. 1311 – เมษายน ค.ศ. 1345) สมรสกับกีย์ที่ 8 เดอ ลา ทัวร์ ดู แป็ง โดแฟ็งแห่งเวียนนัวส์

ทั้งคู่มีพระโอรสด้วยกันอีกหนึ่งคนชื่อฟีลิปหรือไม่ก็หลุยส์ซึ่งสิ้นพระชนม์ในปี ค.ศ. 1317 ทำให้ชาร์ล พระอนุชาของพระเจ้าฟีลิปกลายเป็นทายาทและสืบทอดตำแหน่งต่อจากพระองค์เป็นพระเจ้าชาร์ลที่ 4

ฌานพัวพันในคดีคบชู้ของมาร์เกอริตแห่งบูร์กอญในช่วงปี ค.ศ. 1314 มาร์เกอริตถูกกล่าวหาและถูกตัดสินว่ามีความผิดฐานคบชู้กับอัศวินสองคน โดยผู้ให้การเปิดโปงเรื่องนี้คืออีซาแบล พระขนิษฐาของพระสวามี[4] ฌานถูกสงสัยว่าปกปิดความลับเรื่องการคบชู้ ต่อมาทรงถูกกล่าวหาว่าคบชู้ด้วยเช่นกัน[5] ด้วยความช่วยเหลือจากฟีลิป พระองค์ถูกตัดสินว่าบริสุทธิ์และได้รับอนุญาตให้กลับมาอยู่ที่ราชสำนัก ไม่ชัดเจนว่าเหตุใดฟีลิปจึงอยู่ข้างพระองค์ ทฤษฎีหนึ่งกล่าวว่าพระองค์อาจกังวลว่าการทิ้งฌานจะทำให้พระองค์เสียบูร์กอญไป หรือไม่พระองค์ก็อาจจะรักฌานมาก[5]